影响功能有效地估计了删除单个训练数据点对模型学习参数的影响。尽管影响估计值与线性模型的剩余重新进行了良好的重新对齐，但最近的作品表明，在神经网络中，这种比对通常很差。在这项工作中，我们通过将其分解为五个单独的术语来研究导致这种差异的特定因素。我们研究每个术语对各种架构和数据集的贡献，以及它们如何随网络宽度和培训时间等因素而变化。尽管实际影响函数估计值可能是非线性网络中保留对方的重新培训的差异，但我们表明它们通常是对不同对象的良好近似值，我们称其为近端Bregman响应函数（PBRF）。由于PBRF仍然可以用来回答许多激励影响功能的问题，例如识别有影响力或标记的示例，因此我们的结果表明，影响功能估计的当前算法比以前的错误分析所暗示的更有用的结果。
translated by 谷歌翻译
了解机器学习模型如何推广到新环境是其安全部署的关键部分。最近的工作提出了各种复杂性度量，这些度量直接预测或理论上结合了模型的概括能力。但是，这些方法依赖于在实践中并不总是满足的一系列强有力的假设。受到有限的设置，可以采用现有措施的有限设置，我们提出了一种基于分类器的局部歧管平滑度的新颖复杂度度量。我们将局部歧管平滑度定义为分类器对给定测试点周围歧管社区中扰动的输出敏感性。直觉上，对这些扰动不太敏感的分类器应更好地概括。为了估计平滑度，我们使用数据扩展进行采样点，并测量分类为多数类的这些点的分数。我们的方法仅需要选择数据增强方法，并且对模型或数据分布没有其他假设，这意味着即使在现有方法无法使用的情况下，也可以在室外（OOD）设置中应用。在图像分类，情感分析和自然语言推断中的鲁棒性基准的实验中，我们证明了我们在100多个火车/测试域对上评估的超过3,000个模型上的流形光滑度量与实际的OOD概括之间存在很强而牢固的相关性。
translated by 谷歌翻译
清单是简单的决策辅助工具，通常用于促进临床应用中的安全性和可靠性。在本文中，我们提出了一种学习临床决策支持清单的方法。我们代表预测检查表作为具有二进制特征和单位权重的离散线性分类器。然后，我们通过解决整数编程问题，从数据中了解全局最佳预测检查表。我们的方法允许用户自定义检查表以遵循复杂的约束，包括对实施组公平性的约束，并在培训时间进行二共度实际功能。此外，它对具有最优性差距的模型，可以为模型开发提供信息，并确定在给定数据集上的充分准确检查表的可行性。我们将我们的方法与专业技术配对，加速其培训能够良好的预测检查表的能力，并且具有小的最优性差距。我们在七个临床分类问题上基准测试我们的方法，并通过培训用于接触前置筛查的短型清单来展示其实用益处。我们的结果表明，我们的方法可以适用于简单的预测检查表，可以很好地表现良好，可以轻松定制，以遵守丰富的自定义约束。
translated by 谷歌翻译
机器学习已成功构建许多顺序决策，作为监督预测，或通过加强学习的最佳决策政策识别。在数据约束的离线设置中，两种方法可能会失败，因为它们假设完全最佳行为或依赖于探索可能不存在的替代方案。我们介绍了一种固有的不同方法，该方法识别出状态空间的可能的“死角”。我们专注于重症监护病房中患者的状况，其中``“医疗死亡端”表明患者将过期，无论所有潜在的未来治疗序列如何。我们假设“治疗安全”为避免与其导致死亡事件的机会成比例的概率成比例的治疗，呈现正式证明，以及作为RL问题的帧发现。然后，我们将三个独立的深度神经模型进行自动化状态建设，死端发现和确认。我们的经验结果发现，死亡末端存在于脓毒症患者的真正临床数据中，并进一步揭示了安全处理与施用的差距。
translated by 谷歌翻译
深度度量学习（DML）旨在找到适合于零拍摄传输到先验未知测试分布的表示。但是，公共评估协议仅测试单个固定数据拆分，其中列车和测试类被随机分配。更现实的评估应考虑广泛的分布转变，具有潜在的变化和困难。在这项工作中，我们系统地构建了增加难度的培训 - 测试分裂，并呈现OHLML基准，以在DML中的分发外换档下表征概括。 OODML旨在探讨更具挑战性的泛化性能，多样化的火车到测试分配换档。根据我们的新基准，我们对最先进的DML方法进行了彻底的实证分析。我们发现，虽然泛化趋于难以困难地降解，但随着分布偏移的增加，一些方法在保持性能方面更好。最后，我们提出了几次拍摄的DML作为一种有效的方法，以响应于OHML中呈现的未知测试班次而始终如一地改善泛化。此处可用的代码：https：//github.com/compvis/charracterizing_generalization_in_dml。
translated by 谷歌翻译
Hawkes processes have recently risen to the forefront of tools when it comes to modeling and generating sequential events data. Multidimensional Hawkes processes model both the self and cross-excitation between different types of events and have been applied successfully in various domain such as finance, epidemiology and personalized recommendations, among others. In this work we present an adaptation of the Frank-Wolfe algorithm for learning multidimensional Hawkes processes. Experimental results show that our approach has better or on par accuracy in terms of parameter estimation than other first order methods, while enjoying a significantly faster runtime.
translated by 谷歌翻译
随着人工智能的最新进展，可以在人类日常生活的各个方面看到其应用。从语音助手到移动医疗保健和自动驾驶，我们依靠AI方法的性能来完成许多关键任务；因此，必须以适当的手段进行预防损坏的方式主张模型的性能。通常，AI模型的短缺，尤其是深度机器学习，当面对数据分布的变化时，性能下降。尽管如此，在现实世界应用中始终期望这些转变。因此，已经出现了一个研究领域，重点是检测分布外数据子集并实现更全面的概括。此外，由于许多基于深度学习的模型在基准数据集上取得了近乎完美的结果，因此需要评估这些模型的可靠性和可靠性以推向现实世界应用程序的需求，这比以往任何时候都更加强烈。这引起了越来越多的研究领域的研究和领域的概括，这引起了对从各个角度比较这些研究进行比较的调查的需求，并突出了它们的平直和弱点。本文提出了一项调查，除了审查该领域的70多篇论文外，还提出了未来作品的挑战和方向，并为各种类型的数据转移和解决方案提供了统一的外观，以更好地泛化。
translated by 谷歌翻译
在过去的几年中，霍克斯流程的在线学习受到了越来越多的关注，尤其是用于建模演员网络。但是，这些作品通常会模拟事件或参与者的潜在群集之间的丰富相互作用，或者是参与者之间的网络结构。我们建议对参与者网络的潜在结构进行建模，以及在现实世界中的医疗和财务应用环境中进行的丰富互动。合成和现实世界数据的实验结果展示了我们方法的功效。
translated by 谷歌翻译
Hawkes流程最近从机器学习社区中引起了人们对建模事件序列数据的多功能性的越来越多的关注。尽管它们具有丰富的历史可以追溯到几十年前，但其某些属性（例如用于学习参数的样本复杂性和释放差异化私有版本的样本复杂性）尚未得到彻底的分析。在这项工作中，我们研究了具有背景强度$ \ mu $和激发功能$ \ alpha e^{ - \ beta t} $的标准霍克斯进程。我们提供$ \ mu $和$ \ alpha $的非私人和差异私人估计器，并在两种设置中获得样本复杂性结果以量化隐私成本。我们的分析利用了霍克斯过程的强大混合特性和经典的中央限制定理的结果，结果较弱的随机变量。我们在合成数据集和真实数据集上验证了我们的理论发现。
translated by 谷歌翻译
自闭症谱系障碍（ASD）是一种脑部疾病，其特征是幼儿时期出现的各种体征和症状。 ASD还与受影响个体的沟通缺陷和重复行为有关。已经开发了各种ASD检测方法，包括神经影像学和心理测试。在这些方法中，磁共振成像（MRI）成像方式对医生至关重要。临床医生依靠MRI方式准确诊断ASD。 MRI模态是非侵入性方法，包括功能（fMRI）和结构（SMRI）神经影像学方法。但是，用fMRI和SMRI诊断为专家的ASD的过程通常很费力且耗时。因此，已经开发了基于人工智能（AI）的几种计算机辅助设计系统（CAD）来协助专家医生。传统的机器学习（ML）和深度学习（DL）是用于诊断ASD的最受欢迎的AI方案。这项研究旨在使用AI审查对ASD的自动检测。我们回顾了使用ML技术开发的几个CAD，以使用MRI模式自动诊断ASD。在使用DL技术来开发ASD的自动诊断模型方面的工作非常有限。附录中提供了使用DL开发的研究摘要。然后，详细描述了使用MRI和AI技术在自动诊断ASD的自动诊断期间遇到的挑战。此外，讨论了使用ML和DL自动诊断ASD的研究的图形比较。最后，我们提出了使用AI技术和MRI神经影像学检测ASD的未来方法。
translated by 谷歌翻译